Centro Federal de Educação Tecnológica de Minas Gerais

"Afirmação falsa. Após a época 8 a perda de treino cai mas a de validação sobe: overfitting, o modelo decora o treino e não generaliza. Perda de treino baixa não garante desempenho em dados novos. O ideal seria parar na época 8 e avaliar no teste."

"Numéricas: Padronizar (z-score) com estatísticas do treino. Categóricas: One-hot. Backpropagation calcula o gradiente de perda em relação a cada peso. O otimizador usa esses gradientes para atualizar os pesos."

"Divisão treino/validação/teste estratificada e sem vazamento, teste usado uma vez. Métricas: recall dos urgentes, precisão, matriz de confusão, AUC-PR e calibração. Reprodutibilidade: fixar a semente e versionar dados e splits."

"Revisar amostra dos alertas noturnos e comparar métricas e distribuição das imagens dia x noite. Overfitting: erra também em imagens novas do dia. Covariate shift: vai bem de dia, erra à noite e as imagens noturnas têm outra distribuição. Rotulação: a revisão acha peças aprovadas com defeito ou discordância entre inspectadores."

"CNN capta padrões locais (bordas, texturas), compartilha pesos e é invariante à translação. Congelar a base pré-treinada e treinar só a cabeça nova. Depois ajuste fino das últimas camadas com learning rate baixo. Usar dropout, L2, early stopping e augmentation de brilho, constraste, ruído e rotação."

"Validação cruzada estratificada, média ± intervalo de confiança, teste noturno separado e intocado, comparar com o modelo atual. Ganho pequeno pode ser ruído."

"Em $\hat{p} = 0,5$ a frequência real é só 18%: o modelo superestima o risco, então em 0,5 ele erra $\approx 82\%$. Mal calibrado = a probabilidade não corresponde à frequência real e não pode ser lida como risco, é preciso recalibrar."

"FN custa mais que FP, o que puxa o limiar para baixo, mas FP em excesso estoura a capacidade de equipe e gera fadiga de alarme. Escolher na validação o limiar que minimiza $C_{FN} \cdot FN + C_{FP} \cdot FP$ com alarmes $\le$ capacidade."

"Monitorar a distribuição das entradas (PSI/KS), dos escores, taxa de alarmes e, com desfechos, recall e calibração. Ao detectar anomalia: revisão humana, voltar a versão/limiar seguro, recalibrar ou retreinar com dados novos."

"Word2Vec: vetor fixo por palavra, ignora contexto. BERT: vetor depende da frase e capta paráfrases, mas custa mais e tem limites de tokens. Cosseno mede proximidade do tema, não relevância: sempre retorna algo, ignora se a norma é vigente, falha em códigos e termos exatos."

"Busca vetorial sempre retorna resultado, então a taxa fica $\approx 100\%$ mesmo errando. Protocolo: consultas com ground truth, validação e testes separados. Precision@K, Recall@K, MRR e nDCG, comparando com BM25."

"BM25 acerta termos exatos e códigos, o denso acerta paráfrases; combinar os escores. Filtrar por metadados (data, versão, ...) antes do ranking, excluindo normas revogadas e citando fonte e versão."

"Contesto: o maior score sempre devolve algo, mesmo sem resposta real. Política: se $s_1 < \tau_1$, abster; se $s_1 - s_2 < \tau_2$ e os documentos divergem, abster ou pedir esclarecimento; senão responder citando a fonte. $\tau_1$ e $\tau_2$ ajustados na validação."

"Conflito: priorizar a norma vigente e mais recente via metadados; se persistir, abster e sinalizar. Validar com consultas respondíveis e não respondíveis, medindo acerto, abstenção correta e abstenção indevida para escolher $\tau_1$ e $\tau_2$."

"Registrar escores e decisão por consulta e acompanhar a taxa de abstenção. Se sobe: perguntas novas ou acervo desatualizado (reindexar). Se cai bruscamente: possíveis respostas erradas (auditar)."